杨莉芳:大学英语教材形成性评价活动研究 | 期刊好文
提要:形成性评价是教学的重要组成部分。本文探究大学英语教材中形成性评价活动的频度与特点。研究发现:1)所分析教材均包含形成性评价活动,频度存在较大差异;2)形成性评价活动都强调获取与评价学习表现,但半数缺少后续促学行动环节;3)大多数形成性评价活动具备明确的评价标准,主要以语言能力为评价内容;4)绝大多数形成性评价活动的主体为学生,教师的作用以及为教师提供的指导建议相对不足。据此,本文进一步讨论大学英语教材中形成性评价活动设计的关键问题,为未来教材编写与教学实践提供参考建议。
关键词:大学英语教材;形成性评价;外语教学
DOI:10.20083/j.cnki.fleic.2023.04.082
1 引言
1
形成性评价既是一种测评行为,也是课堂教学活动的一部分,是指对所获取的学生的学习表现证据加以分析解释,从而得出结论指导下一步学习和教学的过程(Black & Wiliam 2009)。形成性评价对教学的促进作用,得到了大量实证研究的验证(如Black & Wiliam 1998;Wiliam et al. 2004),结论是执行得当的形成性评价活动可以令学生学习效率成倍增长(Wiliam 2007)。国内大学英语教学领域对形成性评价的重要性已有相当深刻的认识(杨满珍、刘建达 2019),形成性评价已纳入《大学英语教学指南(2020版)》(教育部高等学校大学外语教学指导委员会 2020)。由于目前大学英语教学实践很大程度上是基于教材展开,课程内容、教学设计与教学实施均围绕教材开展,教材中形成性评价活动的设计情况将直接影响教学中的形成性评价实践。本文聚焦10册大学英语教材,探究教材中形成性评价活动设计的特点,以期为未来外语教材的编写以及教学实践提供启示。
2 文献综述
2
不同于终结性评价的大规模、标准化考试,形成性评价发生于教学过程中,以促学为目的(Bloom et al. 1971)。Black & Wiliam(1998)基于对250篇形成性评价研究的元分析,发现形成性评价对学习具有巨大促进作用,此后形成性评价在世界范围内得到广泛的实践和研究。研究一方面聚焦评价的某种形式,如同伴互评(Yu & Hu 2017;周季鸣、束定芳 2019),或某个环节,如反馈(Zhang 2020;牛瑞英、张蕊 2018),探究评价的促学机制;另一方面以技能为线索,探讨教学中的形成性评价实践(如Ranalli 2018;田朝霞 2018)。
大学英语教学情境下的形成性评价是国内研究关注的重点(杨满珍、刘建达 2019),一些实证研究基于真实课堂,总结出了具有借鉴与推广意义的特点(如杨华、文秋芳 2014)。然而,也有研究发现,教师普遍缺乏评价培训与相关支持,难以顺利开展形成性评价活动,因而很难达成评价的真正促学效果(Stiggins 2002;江进林 2019)。调查表明,高校英语教师的整体测评素养偏低(江进林 2019)。作为教学最重要的工具,教材对教师与教学的指导作用毋庸置疑,且研究发现,教师在使用教材时很少改编教材已有的活动(张虹等 2021)。因此,形成性评价活动是否充分、是否有效地包含在大学英语教材设计中,直接影响甚至可能决定教学实践中形成性评价的开展情况。已有学者强调将形成性评价纳入教材的重要性(胡壮麟 2005;郑晓红 2018),指出教材应培养学生自主学习能力,教材活动设计应注重给予学生自我评估的空间。但目前尚未有针对形成性评价活动的教材实证研究。鉴于此,本文将探究大学英语教材中形成性评价活动的特点,并对各册教材进行分析与比较。
3 研究设计
3
3.1 研究问题
本文具体研究问题包括:1)大学英语教材中是否设计了形成性评价活动?若是,频度如何?2)大学英语教材中形成性评价活动设计呈现什么样的特点?
3.2 研究对象
本文的研究对象为国内10册主流大学英语教材综合教程第一册学生用书与教师用书(包括教师用书的原因在于,学生用书中一些练习活动的评价标准、实施评价的步骤等信息会通过教师用书提供)。教材的选取遵循下列原则:使用面广,既有经典教材又有近期出版的新教材,包括不同出版社出版的教材。最后选定的教材信息见表1,教材名与出版社名称均用字母代替。
3.3 数据收集与分析
本研究收集了10册教材中学生用书中除输入性文本外的所有练习活动,以及对应的教师用书中对活动的教学建议作为研究数据。
数据分析的编码框架(见表3)结合了形成性评价理论以及对本研究数据自下而上的分析。该框架基于语言测评界对形成性评价活动基本要素的研究成果(Boston 2002;Gu 2021;Heritage 2007),确定评价活动的五个要素为:1)明确目标,即点明学习的具体目标是什么;2)获取表现,即通过设计任务来获取学生的学习表现;3)评价表现,即对所获取学习表现的质量进行评估与解释;4)提供反馈,即报告表现的评估结果、提出建议;5)促学行动,即根据反馈采取后续行动促进学习表现的提升。每个要素下包括的具体维度指标来自对本研究数据的扎根理论分析。
基于上述编码框架,笔者首先对一位有经验的编码员(语言测评方向硕士毕业生,曾参加三项语言测评研究的编码工作)进行编码培训,然后由两位编码者独立编码,在编码过程中共同商讨对方提出的不确定之处。编码者间信度检验Cohen’s kappa系数为0.92,符合标准,编码不一致之处在商讨后确定。
4 研究发现
4
完成对所选教材中形成性评价活动的分析后,本文围绕两个研究问题,从形成性评价活动的频度与特点来报告研究发现。
4.1 形成性评价活动频度
10册教材都包含形成性评价活动,共88项,但每册教材的形成性评价活动频度存在显著差异(见表2)。其中,3册教材(A、D、E)平均每单元一项形成性评价活动,4册教材(C、F、G、I)平均每单元不足一项,3册教材(B、H、J)平均每单元超过一项。形成性评价活动频度最高的教材J平均每单元超过四项活动,频度最低的教材G全册共两项活动、平均每四个单元一项。出版较早的教材A(2012)与教材B(2010)平均每单元约一项形成性评价活动,最近出版的教材J(2021)平均每单元约四项,尽管没有线性相关,新近出版的教材有可能更注重形成性评价活动的设计。
教材的形成性评价活动中,各要素分布不均衡:所有活动均包含“获取表现”与“评价表现”,95%的活动包含“明确目标”,92%的活动包含“提供反馈”,仅51%的活动包含“促学行动”。若以具备所有五个要素才构成完整的形成性评价活动为标准(顾永琦、李加义 2020),则仅有半数形成性评价活动达标,10册教材共76个单元,仅包含45项完整的形成性评价活动。
4.2 形成性评价活动特点
通过统计每个要素下各指标频数的情况,我们可以得出教材中形成性评价活动的主要特征(见表3):评价的目标绝大多数基于具体任务,任务形式以书面产出为主,对任务表现的评价基本具备明确的评价标准,评价标准的内容以语言能力为主导,半数评价活动要求提供开放式的评论和建议作为反馈,半数评价活动包含后续促学行动,行动目标主要是提高任务表现。
关于要素一“明确目标”,绝大部分评价活动是基于具体任务目标的(82.1%),目标形式主要有两种:一是出现在任务要求中(59.5%),如教材D的一项写作任务“writing a letter of congratulation”的要求为“choose the right form and tone, stay focused on the theme of congratulation”;二是在步骤指导中逐渐呈现(27.4%),这种形式的目标往往更为具体,发挥了评价目标与学习脚手架的双重作用,如教材H的一项评价活动“giving a presentation on digital shopping on campus”共有四个任务步骤,其中Step 2 develop your ideas 给出具体指导及三项目标“list the most common ways of digital shopping students use on campus, think about the impacts of digital shopping on college students, collect supporting details (facts, data, etc.)”。还有一部分评价活动以单元学习目标为评价目标(16.7%),如在单元开头列出(19.0%)“I can write an essay describing my experience of ‘learning to become local’”的学习目标,在单元学习结束时进行评价。值得一提的是,仅一项评价活动以课程学习目标为评价目标(“Evaluate and categorize your learning features under the headings below: strengths, weaknesses”,教材J),属于课程教学目标中的学习能力,在该教材前言中有明确列举。
关于要素二“获取表现”,即通过设计具体任务来获取学生的学习表现,具体任务表现以产出型任务尤其是以书面产出(50.0%)为主,如写一封信、写一篇介绍性短文等。获取单元学习表现的形成性评价活动数量不多(15.9%),均设置于单元末,学生完成单元学习后基于单元学习目标对学习表现进行自评(仅教材A、教材J)。获取阶段性学习表现的形成性评价活动数量少,但很有特点,分为两类,一是分别完成前半学期和后半学期学习时的阶段性测评(仅教材B、教材C),二是对之前学习特征的自我评估(仅教材J)。
关于要素三“评价表现”,绝大多数评价活动具备明确的评价标准,针对具体任务表现的评价活动,其评价标准常常以checklist的形式出现,既有针对此项任务的具体标准(如We have included the most important information about digital shopping on campus),又有针对一类任务的通用标准(如演讲中voice is clear and loud enough),前者常常与要素一中的目标相关联。92.0%的评价活动以语言能力为评价内容,关注思辨能力、跨文化能力和学习能力的评价活动很少。除7项评价活动未指明评价主体外,其他活动主要为学生自评(48.9%)、同伴互评(50.0%)以及少数教师评价(18.2%),有一些活动叠加这几种形式,如运用同一个评价标准先自评再互评。
关于要素四“提供反馈”,在所提供反馈内容中,半数反馈为开放式内容(50.6%),即评价者对被评价者的学习表现提供评论和建议,其次是依据给定标准逐条判断完成的程度(46.9%,如判定完成度属于好、中、差哪个级别)或判断是否完成(29.6%),属于封闭式反馈。另有5项活动的反馈为给学习表现打分,或评选出最佳(如vote for the best presentation)。接受反馈信息的对象主要是学生(91.4%)。
关于要素五“促学行动”,具备此要素的评价活动共45项,其中93.3%指明学生要采取后续行动,20.0%具备教师行动,仅6项活动要求学生与教师都开展后续促学行动,教师行动主要表现为答疑。促学行动目标以提高任务表现为主(57.8%),如要求学生依据评价结果修改写作初稿。有的评价活动由于其要素一是单元学习目标,因此促学行动的目标相应地是学习行为(17.8%)(如figure out what you need to improve and how you can improve it)或已学内容(17.8%)(如review the section which you found difficult)。有3项评价活动建议教师根据评价结果做出相应教学策略的调整(6.7%)(如If students find this activity difficult, the teacher may ask them the following hypothetical questions)。
5 讨论
5
基于上述研究发现,并结合对具体数据的分析,本研究从以下四个方面探讨大学英语教材在形成性评价活动设计中的一些经验和不足。
第一,形成性评价的实现途径。总体来看,形成性评价活动已成为大学英语教材必备的教学活动,所研究的教材均设计了显性的形成性评价活动,但较早期的教材受到终结性评价设计思路的影响。如出版于2010、2014年的教材B和教材C,主要评价活动为两次阶段性测评,采用全国大学英语四级考试形式的试题。新近出版的教材更能体现教学评一体化的特点。如2018年出版的教材H,每单元的Unit project均包含要素完整的形成性评价活动;2021年出版的教材J的形成性评价活动频度最高,做到了逢产出必评价,评价囊括从小任务到大项目以及单元学习各层面的表现。
第二,形成性评价的能力目标。10册大学英语教材的形成性评价活动以书面产出表现为主。然而,除书面表达外,口头表达以及阅读和视听理解能力也都是语言能力的重要组成部分,因此亦有必要开展形成性评价。教材H中形成性评价活动所涵盖的语言能力就比较均衡,其输入型任务的形成性评价活动采用基于输入材料的开放式问题收集学生的表现,再通过教师用书提供评价的标准与后续促学行动方案。10册教材形成性评价活动主要以语言能力为评价内容,较少关注思辨能力、跨文化能力和学习能力。后几项能力同样是大学英语课程的重要教学目标,学界近年也非常关注如何实施相关教学与测试(如孙有中 2016;杨莉芳 2018),因此,这几项能力的形成性评价有待加强。
第三,形成性评价的要素。基于研究发现,大学英语教材中形成性评价活动的五要素分布不均衡,“提供反馈”与“促学行动”这两个要素值得特别注意。评价活动所设计的反馈中有三分之一为分数或者是否判定,而所有活动中仅有半数具备促学行动。Davison & Leung(2009)指出形成性评价的两个基本功能是知会(informing)与形成(forming),分别通过提供反馈与促学行动来实现。好的反馈应提供准确可靠的评价结果以及足量的信息。笼统的分数所提供的促学信息非常有限,而是否判定往往不能准确反映真实情况。因为对学习表现的评价不是在好和差(或有和无)中二选一,而是评估达到何种水平、离目标还有多少距离。同时,反馈后的促学行动非常重要,“应根据评估结果采取后续行动,只有反馈信息被用于改进学习时,反馈才能发挥形成性作用”(顾永琦、李加义 2020:36)。
第四,形成性评价的教师主体。教师在评价活动中具有重要作用,前提是教师懂得如何组织评价活动、开展评价。教师用书是为教师提供支持和指导的有力途径,但10册教材的教师用书在形成性评价活动设计中的作用差异较大。仅半数(教材D、F、G、H、J)提供形成性评价活动的相关内容,包含三类情况:一是将学生用书中的活动步骤与评价标准换成教师视角展示,几乎无新增内容;二是学生用书仅呈现任务要求,由教师用书补充教师组织评价活动的步骤与评价标准;三是任务要求与自评标准在学生用书中列出,教师用书提供互评和师评的指导步骤与评价标准以及后续促学行动的建议。第三类情况能较完整地覆盖形成性评价活动的要素,对教师开展教学实践的指导与借鉴意义更大。
6 启示与建议
6
在前文对研究发现进行探讨的基础上,我们获得了关于形成性评价活动设计的一些启示,从而尝试提出未来在教材编写与教学实践中发展形成性评价活动的几点建议。
首先,应提高形成性评价在教学活动中的占比,促进评价与教学的有机融合。实现教学评一体化,应将评价作为完整教学活动中的必备环节,通过评价来诊断与反馈教学目标的完成情况,并以此为依据确定下一轮教学的行动计划。在教学设计中,二者的有机融合既可以相对隐性,也可以比较显性。例如通过评价环节串联起系列学习活动形成完整的活动链,一个单元内第一阶段产出任务完成后,第二阶段任务可先评价和修改第一阶段任务的产出,然后进一步添加元素生成新的产出任务。还可将必要的评价素养如反思与评价能力设计为教学内容,学生通过对形成性评价能力的显性学习提高评价素养。
其次,应丰富形成性评价的能力目标,实现对语言能力、思辨能力、跨文化能力等综合能力的促学效应。当前外语教学以发展多元能力为目标,因此形成性评价必然在语言能力基础上融合多元能力与素养目标,既可以体现为具体任务的设计,也可以对一个单元进行整体设计。前者尤其要结合某项任务的目标与内容,为任务表现制定具体评价标准(杨莉芳、王婷婷 2022),例如针对一项跨文化写作任务,不仅应评价任务产出的内容、结构和语言等,还应该评价其中涉及的跨文化知识、技能与态度(Deardorff 2006)。后者需要对整个单元进行一体化设计,可在完成单元学习时让学生进行自评,评价标准中纳入思辨能力、跨文化能力、学习能力细化的子技能以及具体的思政育人目标,而单元开头的学习目标中就应列出各项子技能和具体目标,通过单元学习加以培养再进行评价,通过教学评贯通的方式实现多元能力培养目标。
再次,应重视评价中的有效反馈与后续促学行动,建立学、评、知、行的良性循环。目前多数评价活动尚囿于利用评价工具探知学生表现,对反馈的重视不足,导致缺乏反馈或反馈单一(分数或等级)或单薄(简单判定)。有效反馈必须具有充分的诊断性。因此,建议避免笼统的描述语,或在学生作为评价主体的情况下任其随意点评。在学生开展评价时,应提供评价的具体方向,可采用回答评价问题的形式,或让学生基于标准细则给出评价并列出具体的证据,既促进学生对学习现状和目标的深入思考,也有利于生成真正有效的反馈。基于有效反馈,还须设计后续行动的步骤,以及针对可能的行动结果,设计进一步评价的方案,实现教学评的循环发展。
最后,应加强教师在评价中的作用,提升教师的评价素养和评价实践。一方面,教材编写应加强教师端设计,为教师的形成性评价实践提供更多指导与支持。有效的设计包括结合本册教材总体教学目标和内容提供形成性评价的基本思路,结合每单元教学设计提供形成性评价活动链,以及结合每项具体教学任务提供形成性评价的步骤、标准及操作建议。另一方面,必须认识到教师在评价活动中肩负多重角色,教师有时是评价主体,须掌握评价学生表现与教学效果的有效方法;当评价主体为学生时(自评、互评),教师是评价活动的引导者,须为学生搭建评价活动的脚手架、跟进过程与结果、推动评价活动发展;教师亦是评价活动的设计者,可基于所使用的教材,利用已具备的形成性评价要素,补齐所缺失的要素,根据教学评一体化的原则开展形成性评价活动。
7 结语
7
本文分析了10册大学英语教材综合教程第一册中形成性评价活动的设计情况,发现所有教材均包含形成性评价活动,但频度与特点均存在差异,较早出版的教材中形成性评价有较明显终结性评价的痕迹,新近出版的教材中形成性评价活动频度更高、更能体现教学评一体化的理念。总体来看,形成性评价活动更强调获取表现和评价表现,在提供反馈与促学行动方面有较大提升空间。本研究的发现为我们提供了发展大学英语教学中形成性评价的基本思路,包括提高评价活动的频度,促进评价与教学活动的融合,拓展评价目标涵盖多元能力,强调反馈与后续行动,以及赋能教师的评价实践。
本研究所分析的教材均为传统纸质教材,未来可以关注纸数结合的新形态教材(杨莉芳 2023)中形成性评价活动的设计与实现。新形态教材基于智慧教学平台,能够利用数字信息技术收集教与学的全过程数据,分析学习者学习表现、行为特征、能力现状等,在通过评价赋能教学决策方面独具优势,将会推动形成性评价进入新纪元。
本文发表于《外语教育研究前沿》2023年第4期第82—89页,由于篇幅所限,注释和参考文献已省略。
杨莉芳,北京外国语大学英语学院副教授。主要研究领域:语言测评、外语教学与教材研究。
1)在期刊官网
(http://www.celea.org.cn/class/25)阅读本期刊讯;
2)在CNKI下载论文全文:
https://kns.cnki.net/kcms2/article/abstract?v=5SxrylDe_PN-2Kuq_3TNSDsfdEUx2zs-gPjTkeTteIPQsAfxxOCnPKzVku29fwQ_NjVZfZILPgmYma3SpdHKv2a4x5GxJ-_SHt5-5_qSfJB5YuidzokSd3YQmFYgdAyKTVIVcokrqvw=&uniplatform=NZKPT&language=CHS
(复制网址,粘贴到浏览器打开)
杨莉芳,2023,大学英语教材形成性评价活动研究
[J],《外语教育研究前沿》(4):82-89。
期刊好文 | 大学生中华文化传播能力的发展变化个案研究(文/杨华、李莉文)
期刊好文 | 大学生中华文化传播能力的受众意识培养研究(文/崔琳琳)
期刊好文 | 培养大学生中华文化传播能力的实践路径——以“用英语讲中国故事”课程为例(文/孙曙光)
【声明】感谢《外语教育研究前沿》编辑部授权iResearch发布此文。本文版权归《外语教育研究前沿》编辑部及作者所有。其他任何学术平台若有转载需要,可致电010-88819493或发送邮件至research@fltrp.com,我们将帮您协商授权事宜,请勿擅自转载。
点击“阅读原文”,可在知网下载全文~